Zenekedvelő családban született London egyik nyugati kerületében, Chiswickben, nagyapja operaénekes volt. Tizenévesként Elvis Presley egy filmjét látva döntötte el, hogy ő maga is rockénekes lesz. Több bandában megfordult, az Episode Six elnevezésűben ismerkedett össze a basszusgitáros Roger Gloverrel, s 1969-ben együtt csatlakoztak az útját kereső Deep Purple együtteshez. A banda akkor már elkönyvelhetett egy komoly sikert Hush című dalával, de a dobos Ian Paice, a billentyűs Jon Lord és a gitáros Ritchie Blackmore úgy érezte, a pszichedelikus pop helyett a kemény rock az igazi műfajuk. A váltást ellenző Rod Evans énekesnek búcsút mondtak, az új felállás júliusban mutatkozott be, ezzel megkezdődött a Deep Purple legsikeresebb korszaka. A rajongók szerint Ian Gillan volt és marad az együttes hangja, aki olyan klasszikussá vált albumokon szerepelt, mint a Concerto for Group and Orchestra, az In Rock, a Fireball, a Machine Head (utóbbi kettő listavezető volt Angliában), a platinastátuszt elért Made in Japan koncertlemez és a Who Do We Think We Are. Gillan közben elvállalta a címszerepet Andrew Lloyd Webber és Tim Rice rockoperájában, a Jézus Krisztus Szupersztárban.
A szakadatlan felvételek, a folyamatos turnék kikezdték egészségét, 1971 októberében kimerültséggel kórházba került. A következő évben bejelentette, hogy Gloverrel együtt távozik, utolsó turnéjára az együttessel 1973-ban került sor. (Távozásukat a felindult Jon Lord a "rock and roll legnagyobb szégyenének" nevezte.) Gillan döntésében a fáradtság mellett nagy szerepet játszott, hogy elmérgesedett a viszonya gitáros Blackmore-ral. Bár később még zenéltek együtt, színpadon kívül akkor sem találták a közös hangot, s ma már nem is beszélnek egymással. Miközben az utolsó közös koncerteket és interjúkat adták, a Machine Headről kimásolt Smoke on the Water egyre feljebb kapaszkodott a listákon, végül a Deep Purple fennállásának legnagyobb sikere lett.
Gillan ezután néhány sikertelen befektetés után egy stúdiót vásárolt, majd 1975-ben létrehozta az Ian Gillan Band nevű zenekart. Albumaik nem tudták bevenni a slágerlistákat, a közönség nem volt vevő a dzsessz-rock hangzásra. Az együttes 1978 nyarán különböző személyi változások után Gillanre egyszerűsítette nevét, s következő próbálkozásuk, a Mr. Universe című lemez éppen csak lecsúszott a brit Top Tenről, 1980-ban a Glory Road már bekerült az első öt közé. Az önbizalmában megerősödött Gillan a következő két évben sorra gyártotta a Top 40-ben szereplő kislemezeket és a Top 20-as albumokat.
Az együttes 1982-ben feloszlott, Gillan orvosi utasításra letöltött pihenője után, 1983 májusában csatlakozott a Black Sabbath zenekarhoz, Ronnie James Dio utódaként. 1984-ben még együtt turnézott a csapattal, amely koncerteken ráadásként a Smoke On The Watert játszotta, majd váratlanul a klasszikus felállásában újra kezdő Deep Purple tagja lett. Bár a Perfect Strangers és a House of Blue Light című album kelendőnek bizonyult, maga Gillan elégedetlen maradt, szavai szerint úgy érezte, valami hiányzik az együttesből. nekilátott hát egy szólóalbumnak, What I Did on My Vacation címmel, 1988-ban Roger Gloverrel közös korongja, az Accidentally on Purpose látott napvilágot.
1989-ben újra búcsút intett a Deep Purple-nek, és részt vett a számos legendás brit muzsikust felsorakoztató Rock Aid Armenia elnevezésű jótékonysági akcióban, amely az 1988-as örmény földrengés áldozatain igyekezett segíteni. A projekt legemlékezetesebb felvétele a klasszikus Deep Purple-dal, a Smoke on the Water új verziója volt, amelyben Gillan mellett olyan zenészóriások szerepeltek, mint Tony Iommi, Ritchie Blackmore, Bruce Dickinson, Roger Taylor, Keith Emerson, John Paul Jones, Paul Rodgers és Jon Lord. Gillan 2012-ben Tony Iommi és még számos pályatársa társaságában készített újabb lemezt, amelynek bevételeit egy, az 1988-as örményországi földrengésben romba dőlt zeneiskola újjáépítésére ajánlották fel.
A következő évtizedekben hol a "mély bíborral" tartott, hol elvált tőlük, s bár folyamatosan koncertezett a csapattal, saját szólólemezek kiadására is maradt ideje. 2006-ban addigi pályafutását multimédiás CD-lemezzel összegezte, 2009-ben új stúdióalbummal rukkolt elő One Eye to Morocco címmel. A Deep Purple legutóbbi albuma 2013-ban Ian Gillan közreműködésével jelent meg Now What?! címmel.